—— 青亭网
其他
Magic Leap 2分析(三)：调光方案是投资者导向，而非用户导向
hi188｜编辑
本文来自于Karl Guttag，也是Magic Leap 2的第三篇分析文章，前两篇分别从Magic Leap 2设计图进行了产品定位分析和光学分析，其中重点从已公布的专利分析了Magic Leap CEO Peggy Johnson提及的电子调光方案。
相关阅读：
为了更深入的探讨Magic Leap 2基于液晶的像素级电子调光方案，本文将进一步解释工作原理和涉及的问题，感兴趣的可以参考第二篇文章。
本文提及的专利：US20210141229、US20210048676、US20210003872、US20200074724。
如下面的示例图，Magic Leap的调光方法看上去并不实用，Karl也在质疑为何要这么设计？并在本文的结论中给出答案。
1，柔边像素调光方案
在AR眼镜中采用基于液晶模组来控制外部环境光线是一个很普遍的想法，甚至它还有一个专有名词“soft-edge occlusion”，直译过来就是“柔边像素调光”。
这一名词来自于Bernard Kress出版的AR/VR/MR百科全书《Optical Architectures for Augmented-, Virtual-, and Mixed-Reality Headsets》，书中第215页提到了像素化调光。
虽然硬边像素调光（hard-edge pixel occlusion）需要聚焦在空间像上，但柔边像素调光可以在散焦图上完成。例如，遮阳面罩上就是像素化调光方案。这种像素化调光可集成液晶层，可以是偏振调光器（通常从45%降至0%），或者作为基于着色液晶层的偏振液晶调光器（通常由55%降至5%）。
尽管概念上并不新鲜，但至今还没有实际产品采用此方案（至少目前我见过的）也是有原因的。虽然看上去在用Magic Leap举例子，但实际上Karl只是通过其专利来分析一下这种方案的主要问题。
硬边像素调光的意思是根据图像内容进行像素级的控光，虽然对于VST类产品（也就是基于VR的AR透视模式）来说影响不大，但对于OST类光学透视产品来说就变得复杂了。Karl此前在此前文章中也分析了这一问题，包括Magic Leap授权给亚利桑那州立大学的专利。
在视觉上简单来说，柔边像素调光可以用在大范围选择性调光的场景，可以更好的突出虚拟物体，而不会让现实环境整体变暗。而硬边像素调光可以进一步提升沉浸效果，如让虚拟物体看上去像在现实中物体的前后。
2，Magic Leap调光基本概念
基本结构说起来很简单，如下图，就是在光波导前方增加透过式的LCD进行像素化调光，从而实现对环境光的遮挡。但实际情况如果真的这么容易，那么我们早就能买到类似的产品了。
右下方图7B来自于US20210048676专利，展示了像素调光阵列结构的细节，其使用常见的偏振液晶（如：扭曲向列型）。外部光线从底部进入，而现实环境光线是偏振光。外部延迟器通常是四分之一波片，用于旋转光的方向，从而通过液晶对准，确保达到最佳效果。然后经由液晶两侧的玻璃或塑料，液晶采用公共电极，内部玻璃形成像素化电极和控制每个像素的电极薄膜晶体管。外部延迟器“旋转”来自液晶的偏振光，因此它将通过内偏振器。有可能是，液晶关闭时Magic Leap希望堆栈呈最大投射状态，并且延迟器的调整进出偏振液晶来改善透射效果。在大多数应用中，外部延迟器可用来阻挡外部光线实现提高画面对比度，因此阻挡状态是最重要的。
图6B（上图左）的调光像素和实际显示像素比要大很多，但又不是成比例的，虚拟像素大小可能是实际像素的10万倍甚至更多。
3，观看LCD屏幕也是个问题
LCD屏幕是日常生活中最常见的屏幕类型之一，例如在手机、笔记本或PC的显示器等，它输出偏振光（相反OLED输出非偏振光）。如果AR眼镜使用时在眼镜和现实环境之间存在一个光学偏振器，它或多或少会导致LCD亮度变低或者偏色。
Magic Leap在CNN采访中给出的一个例子是，在手术室中。值得注意的是，在手术室内通常也会有不少LCD显示屏用于辅助医疗信息供医生参考。
4，像素化调光的物理问题
在深入了解Magic Leap实际应用前，我们先来看看可能存在的物理层面面的问题会对接下来更有帮助。
4-1，透镜的聚光状态
上图中展示了透镜常见的三种聚光情况。
在大孔径和无透镜模式下，右侧红点的光（假设有一个红色LED）在左侧画面呈模糊状；
如果孔径缩小到非常小（如针孔般），那么有一束光透过并在左侧呈一个点。就是小孔成像原理，孔越小图像越清晰，但是画面也就越暗。如果孔过于小，衍射会导致光线模糊并造成遮挡。亮度和孔大小成正比；
透镜可以将大范围孔径内的光线聚集到一个点上，孔径越大，图像亮度越大，亮度和孔径面积几乎成正比。左侧图像为整个透镜中每一个点的聚集光线合集。如果透镜不变，孔径变小，那么图像区域保持不变，画面不会被裁切，但是亮度会变低。此外，孔径越小，焦距就会变大。
4-2，像素大小在电子调光中的影响
现在我们假设在距离眼睛20mm的透镜（波导）前方人为添加一个黑色像素点。这里可以模拟Magic Leap 2佩戴效果，根据计算模拟典型值1.5 角分，那么在光波导上的一个像素点宽度约0.087mm。
人眼瞳孔的直径通常在2.5-4mm之间，Magic Leap应用中通常直径为4mm。接下来将使用4mm直径瞳孔进行举例，黑色像素点的面积约0.00007615mm²，4mm直径瞳孔面积约12.566mm²，两者面积比例约为1:165000，也就是这个黑像素点只是其中165000分之一，影响趋近于0。这个案例只是初步说明，硬边像素调光存在的问题。
4-3，柔边像素调光所需像素范围更大
对于柔边像素调光方案来说，需要使用使用比实际显示覆盖像素大得多的像素数量进行遮挡调光。如下图所示，即使是相对较大的像素，其最终的效果也会有较大的模糊状。
在专利US20210003872中提到，调光像素直径约0.5mm（500微米），此前的US20210141229专利中讨论了直径0.2mm的情况。虽然Magic Leap 2最终不会采用这些设计，但这里先使用0.5mm像素直径来进行分析。上图右侧展示了4mm直径的瞳孔和一个0.5mm调光像素的大小对比，在距离眼睛20mm处，用1.5角分的小红点进行标注。右侧调光像素是6倍放大后效果，可以看到调光像素和虚拟画面中的一个像素实际大小的对比。根据估算，调光像素约是实际虚拟图像中一个像素大小的2100倍。
那么，建设一个调光像素是黑色的，一个宽0.5mm的正方形和一个直径4mm的瞳孔，它阻挡了2100万像素中的约2%的图像（0.5²/（2²×π））。也就是有约98%的图像绕过了调光像素的阻挡，投射到视网膜和晶状体，然后聚焦在视网膜上。这也能解释，为什么在佩戴常规视力矫正眼镜时，并不会看到每一个上面的小灰尘或斑点。
4-4，Magic Leap实际案例
上述例子是一个合理的电子调光状态，下图是US20210141229专利中提到，Karl在三种情况下分别选取一点进行着色（红、蓝、绿）。通常我们只会关心进入透镜的光线，在这个案例中假设光源很远，理论上现实环境中每一个的光都会被聚焦在视网膜上。
在直径为h的调光模组（2308）中，引入距离d处直径为p的瞳孔（2304）。然后红色光束以眼睛和障碍物为中心，红色光被阻挡的百分比就是调光像素的面积与瞳孔面积之比。蓝色光束的部分被遮挡，绿色光束因为角度原因不受任何遮挡。
上图左侧（图24）展示了在距离瞳孔17mm情况下，调光像素直径“h”的变化情况。图底部横向刻度为角度，顶部添加40ppd (1.5角分/像素) 比例和以像素为单位的覆盖区域。
如果调光模组的直径等于瞳孔直径（4mm）并且现实环境光线与瞳孔为中心，例如上面红色光束情况，那么只有红色是被完全阻挡的，蓝色和绿色都有部分光线绕过，被阻挡的光共计20万个像素。图24展示了直径h在4mm、3.5mm、3mm、2mm、1mm情况下的遮挡面积情况。
上图（专利US20210141229中图25）显示了调光像素在0.2mm时的暗光遮挡时，会在明亮背景周围存在模糊渐变情况（2502），其中中心区域的背景亮度变暗，而且周围像素也会受到影响。虽然这是柔边像素调光方案，但是图像边缘的处理也非常不理想。
4-5，不同环境所需遮光量
下图表格是综合各方数据而来，这是一份常见真实环境下的入眼亮度汇总。因为人眼具有很好的宽容度，可以感知更宽的亮度范围，例如在明亮的房间里你可以看到亮度仅有20-150nit物体，在户外阳光下大部分光线在1000-10000nit，而在晚上或黑暗环境下，人眼也可以适应0.1nit的亮度去观察环境等等。
通常对比度是是指最亮和最暗的亮度值的比，但在使用AR眼镜时现实环境的光会增加最暗和最亮的部分，而对大多数眼镜来说，环境亮度（I_world）会因为镜片透过率变暗。
根据公式：I_back = I_world × 透过率。
其中，I_back指的是佩戴眼镜后的真实环境光入眼亮度，因此这时的对比度应为：
对比度 = (I_display + I_back) / I_back
在1.5:1的对比度下，图像的文本内容几乎无法查看，在2:1时文字内容稍微可以看清楚，但颜色暗淡，在8:1时颜色相对丰富，可以看作是中等饱和度。而如果要观看一部电影，这至少需要100:1。有两种方法可以提高对比度，1，提高显示亮度，2，降低背景亮度。通常对于显示器或智能手机等产品来说，通常具有吸光特性，可以大幅降低环境光，但是他们没有考虑透过式的、图像叠加在真实环境之上的情况。
Magic Leap给出了一个可见性公式V，然而Karl不能理解公式V，不过从结果来看上图22恒定V=0.7或对比度7.667:1时等同。上图也展示了光机亮度和透过率的关系，分别对应图的横轴和纵轴，对角线则是一组设定在7.667:1的恒定条件下结果。
假设，你在室外环境观看白色物体时虚拟图像亮度是800nit，环境需要调暗1-1.2%或98.8%，才能达到7.667:1的对比度；在阳光下绿色草坪为背景时，观察相同物体则需要调暗94%才能达到同样对比度。作为对比，常见的偏光太阳镜/墨镜只能阻挡75-80%的环境光。
这个数据表明，在户外使用AR眼镜一直都是个挑战。需要更高亮度的光机，例如Lumus的4000nit光机，远超Magic Leap的设计，而最终可以通过更合理的调光进行显示。但是，如果光机亮度低于1000nit，那么受因调光机制影响，在阴影或黑暗场景中看不到任何东西。
4-6，还需要考虑综合光损
在专利US20210048676中的图7B，展示了Magic Leap的基本光路结构。
值得注意的是，即便是高透过率的偏振片，也会阻挡60%的非偏振光/随机光，也就意味着50%的偏振光、10%的其它光被吸收。即便光的偏振被控制的很好，偏振器仍然会阻挡约10%的光。光学延迟器可能也会损失1-2%，而液晶层也会损失几个百分点，两组高透过率的电极也会分别损失3-5%，然后是调光像素晶体管、遮光材料等也会带来5-10%的光损失。
意味着，颜色光波导的三层结构会带来30-40%的光损，如果你加上外部保护罩，虽然看会提升视觉观看，看上去更清晰，但同样也有2-5%的光损。
所有的光损都是以乘法累计，而这也表面综合透过率很容易低于10%，也就是具有90%以上的光损。作为对比，Magic Leap 1代的综合光学效率只有15%，也让它成为所有OST透视AR眼镜中透过率表现最差的机型之一。
4-7，调光和外部视线对齐
上述讨论的前提是，调光像素和眼镜晶状体、视网膜在同一水平线，然而在实际佩戴中却难以达到。因此另一个潜在问题是，如何保证让调光的像素与现实环境或物体的光线对齐。相比来看，调光像素层到眼睛距离也就20mm，但是距离现实环境物体往往有几米甚至更远。
第一个问题是眼球运动带来的视差，如上图标注了红、绿、黑色，虚线为眼球位置，这时需要根据眼球运动将调光像素切换到对应的中间位置。
在Magic Leap专利更多在讨论眼球渲染的情况，图像会聚焦在视网膜不同位置。但好在，上文提到了调光本身会带来模糊情况，并不需要精确控制。
同时Magic Leap也花费大量精力来控制表示，眼球旋转是如何有效的根据照明情况来变化：视锥细胞在高光下对光更敏感，而视杆细胞在低光下对光更敏感，因为探测到的环境光减少，凝视矢量的原点可以从与高密度视锥细胞相对应的视网膜层的中心位置向外调整到与高密度视杆细胞相对应的环上的一个或多个点。
根据图11来看，高光下室外5000nit环境，图12是在弱光下只有100nit亮度。
在Karl看来，这些论述没有技术层面的意义。因为，感光视觉是支持高视力和色觉的视锥细胞只有5-10nit，而不是100nit。例如，室内很多的显示器只有100-200nit亮度；其次，调光本身是宽泛的，使用视锥细胞或视杆细胞谈精度没有必要。
除了调整旋转中心外（如图14和15），这份专利还提到了调光模式的变化，但这并没有实质价值。
4-8，衍射问题
通常，穿过一个小孔的光线会发生衍射，在专利US20210003872中，Magic Leap也提到了解决衍射问题。图7A-C显示了无光栅、方形光栅和弯曲光栅对光的影响。这份专利重点提及，曲线光栅带来的衍射并不明显。
Karl表示，此案例中调光像素间距为0.5mm，而在专利US20210141229中调光像素间距为0.2mm。因为该案例使用了更少的晶体光和金属布线，0.5mm间距下会带来更少的衍射，并且光线透过率也会更高。当然，柔边像素调光方案本身就有更大的模糊区域，以至于变暗的像素分辨率对实际应用带来的影响并不大。
5，结论：投资人导向，非用户导向
通过该系列共三篇文章，Karl主要从像素调光方案入手来分析了Magic Leap 2应用在to B的可行性。经过多篇专利的描述和信息分析，Magic Leap 2很可能就是上文提及的柔边像素调光方案。Karl认为，Magic Leap虽然采用的是无像素方案的“调光快门”，但这同样也带来不少问，也让他想起Magic Leap 1上的VAC解决方案。
这两个都是亟待解决的重要问题，但最终落实方案仍不切实际，甚至可能会带来其它更严重的问题。因此，Karl认为，VAC和像素调光方案是给投资人画饼用的，Magic Leap用这两项技术来“忽悠”投资人为什么还需要投入更多资金，并未从用户角度出发来解决问题。
由此推测，Magic Leap似乎又将大量资源搞了一个营销噱头，这不仅不是一个好的解决方案，而且在大多数应用场景下还会带来更严重的问题。
原文：
Karl Guttag，https://kguttag.com/2021/10/28/magic-leap-2-pt-3-soft-edge-occlusion-a-solution-for-investors-and-not-users/
（ END）
推荐阅读
—— 青亭网